অ্যাপাচি নিফাই (Apache NiFi) হল একটি শক্তিশালী টুল যা ডেটা ফ্লো ব্যবস্থাপনা এবং প্রক্রিয়াকরণের জন্য ব্যবহৃত হয়। এটি ডেটার ইনপুট সংগ্রহ, প্রক্রিয়াকরণ (ট্রান্সফরমেশন), এবং আউটপুট সরবরাহের জন্য একটি সুসংহত এবং গ্রাফিক্যাল ইন্টারফেস প্রদান করে। NiFi এর ফ্লো লাইফসাইকেল (Flow Lifecycle) মূলত তিনটি প্রধান পর্যায়ে বিভক্ত: ইনপুট, ট্রান্সফরমেশন এবং আউটপুট।

NiFi Flow Lifecycle এর মূল পর্যায়সমূহ

১. ইনপুট (Input)

ডেটা সংগ্রহের প্রথম পর্যায় হল ইনপুট। এই পর্যায়ে, ডেটা বিভিন্ন সোর্স থেকে নিফাই দ্বারা সংগ্রহ করা হয়, যেমন ফাইল সিস্টেম, HTTP সার্ভিস, কফকা, এসএফটিপি সার্ভার, ডেটাবেস, বা অন্য কোনো ডেটা স্ট্রিমিং সোর্স।

• Processors for Input: NiFi ইনপুট সংগ্রহের জন্য বিভিন্ন প্রসেসর সরবরাহ করে, যেমন GetFile, GetHTTP, ConsumeKafka, GetSFTP, ইত্যাদি।
• FlowFile: প্রতিটি ডেটা, যা NiFi এর মাধ্যমে প্রবাহিত হয়, তা একটি FlowFile হিসেবে পরিচিত। FlowFile হল ডেটার একটি প্রতিনিধিত্ব, যা একটি ফাইল বা ডেটা অবজেক্ট হতে পারে, এবং এটি NiFi এর প্রসেসর দ্বারা প্রক্রিয়া করা হয়।

ইনপুট পর্যায়ে NiFi এই ডেটাগুলি সংগ্রহ করে এবং পরবর্তী প্রক্রিয়া বা ট্রান্সফরমেশনের জন্য প্রস্তুত করে।

উদাহরণ:

• একটি HTTP GET রিকোয়েস্টের মাধ্যমে ডেটা সংগ্রহ করা (GetHTTP প্রসেসর ব্যবহার করে)।
• একটি ফাইল ডিরেক্টরি থেকে ডেটা ফাইল সংগ্রহ করা (GetFile প্রসেসর ব্যবহার করে)।

২. ট্রান্সফরমেশন (Transformation)

ট্রান্সফরমেশন হল ডেটা প্রক্রিয়াকরণের দ্বিতীয় পর্যায়, যেখানে ইনপুট ডেটাকে রূপান্তর বা পরিবর্তন করা হয়। এই পর্যায়ে ডেটার গঠন, ফরম্যাট, বা কন্টেন্ট পরিবর্তন করা হতে পারে। ট্রান্সফরমেশন প্রক্রিয়াগুলোর মধ্যে ডেটা ফিল্টারিং, মডিফাইং, বা একাধিক ডেটা সোর্স একত্রিত করা অন্তর্ভুক্ত থাকতে পারে।

• Processors for Transformation: NiFi বিভিন্ন প্রসেসর সরবরাহ করে যা ডেটার ট্রান্সফরমেশন করতে ব্যবহৃত হয়, যেমন:
  • ConvertRecord (JSON, CSV, Avro ফরম্যাটে রূপান্তর)
  • ReplaceText (টেক্সট রূপান্তর বা পরিবর্তন)
  • EvaluateJsonPath (JSON ডেটা থেকে পাথ অনুসারে ডেটা বের করা)
  • RouteOnAttribute (অ্যাট্রিবিউটসের ভিত্তিতে ডেটা রুটিং)
• FlowFile Attribute Manipulation: NiFi ফাইলের মধ্যে থাকা ডেটার পাশাপাশি, ফ্লোফাইলের অ্যাট্রিবিউটগুলোও প্রসেস করা যায়। প্রতিটি ফ্লোফাইলের সাথে কিছু মেটাডেটা থাকে, যা কাস্টম অ্যাট্রিবিউট হিসেবে যোগ করা যায় এবং এগুলি ট্রান্সফরমেশন পর্যায়ে ব্যবহার করা যেতে পারে।
• Conditions and Routing: NiFi ডেটা রুটিং এবং কন্ডিশনাল প্রসেসিং করতে সক্ষম। যেমন, RouteOnAttribute প্রসেসর ব্যবহার করে নির্দিষ্ট অ্যাট্রিবিউটের ভিত্তিতে ডেটাকে আলাদা করা বা রুট করা যায়।

উদাহরণ:

• একটি JSON ফাইলকে CSV ফরম্যাটে রূপান্তর করা (ConvertRecord প্রসেসর ব্যবহার করে)।
• একটি ডেটা অ্যাট্রিবিউটের ভিত্তিতে ডেটা আলাদা করা (RouteOnAttribute প্রসেসর ব্যবহার করে)।

৩. আউটপুট (Output)

আউটপুট পর্যায় হল যেখানে প্রক্রিয়া করা ডেটা নির্দিষ্ট গন্তব্যে পাঠানো হয়, যেমন ডেটাবেস, ফাইল সিস্টেম, মেসেজ কিউ (যেমন Kafka), বা ক্লাউড সার্ভিস। এই পর্যায়ে, ডেটা সফলভাবে গন্তব্যে প্রেরিত হয় এবং ফলস্বরূপ কিছু কাজ সম্পন্ন হয়।

• Processors for Output: NiFi আউটপুটের জন্য বিভিন্ন প্রসেসর সরবরাহ করে, যেমন:
  • PutFile (ফাইল সিস্টেমে ডেটা প্রেরণ)
  • PutDatabaseRecord (ডেটাবেসে ডেটা লিখা)
  • PutKafka (Kafka টপিক বা কিউতে ডেটা পাঠানো)
  • PutHTTP (HTTP সার্ভিসে ডেটা প্রেরণ)
• FlowFile Completion: NiFi যখন ডেটা সফলভাবে আউটপুটে পাঠিয়ে দেয়, তখন সেই ফ্লোফাইলটি প্রসেস করা হয় এবং পরবর্তী ফ্লোফাইলের জন্য প্রস্তুত থাকে।

উদাহরণ:

• ডেটা একটি নির্দিষ্ট ফোল্ডারে সংরক্ষণ করা (PutFile প্রসেসর ব্যবহার করে)।
• ডেটা একটি ডেটাবেসে সন্নিবেশিত করা (PutDatabaseRecord প্রসেসর ব্যবহার করে)।

NiFi Flow Lifecycle এর সারাংশ

অ্যাপাচি নিফাই একটি পূর্ণাঙ্গ ডেটা ফ্লো লাইফসাইকেল প্রদান করে যেখানে ডেটা ইনপুট সংগ্রহ, ট্রান্সফরমেশন এবং আউটপুট পর্যায়ে পাঠানো হয়।

• ইনপুট: ডেটা বিভিন্ন সোর্স থেকে সংগ্রহ করা হয় (যেমন HTTP, SFTP, Kafka, বা ডেটাবেস)।
• ট্রান্সফরমেশন: ডেটা প্রক্রিয়া, রূপান্তর বা ফিল্টার করা হয়।
• আউটপুট: প্রক্রিয়া করা ডেটা নির্দিষ্ট গন্তব্যে পাঠানো হয় (যেমন ডেটাবেস, ফাইল সিস্টেম, অথবা মেসেজ কিউতে)।

এই প্রক্রিয়া NiFi এর গ্রাফিক্যাল ইন্টারফেসের মাধ্যমে সহজেই ডিজাইন এবং ম্যানেজ করা যায়, যা ডেটা ইন্টিগ্রেশন এবং প্রক্রিয়াকরণের কাজকে অধিক কার্যকরী ও নমনীয় করে তোলে।